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УДК 004.65 


АЛЬ-ЗГУЛЬ МОСАБ БАССАМ 


ГИБРИДНЫЕ АЛГОРИТМЫ 
В СИСТЕМАХ КЭШИРОВАНИЯ ОБЪЕКТОВ 


В статье рассматриваются гибридные алгоритмы в системах кэширования объеЕктов. 
Предлагается метод использования гибридных алгоритмов при построении адап- 
тивных систем кэширования. Описывается новый универсальный метод гибридиза- 
ции двух и более алгоритмов кэширования, а также новый метод для получения ги- 
бридного алгоритма ККГИ из алгоритмов [КИ и (РИ. Приведены результаты сравни- 
тельного исследования нового алгоритма ККРИ и известного гибридного алгоритма 
[КВЕЦО. 

Ключевые слова: стратегии кэширования, гибридные алгоритмы, ВКЕЦ, [КРИ 
против ККЕО. 


Введение. Темпы роста вычислительной мощности основных компонентов 
современных микропроцессорных систем стремительно возрастают. Наибо- 
лее быстро развивающейся частью системы является микропроцессор, в то 
время как эффективность других устройств растет значительно медленнее. 
Прирост производительности процессоров в настоящее время составляет 
50-80% в год, для систем же динамической памяти ОВАМ такой прирост не 
превышает 10%. Для увеличения вычислительной мощности системы в це- 
лом недостаточно увеличения производительности одного лишь микропро- 
цессора. Эффективным способом использования темпов роста производи- 
тельности процессоров для компенсации отставания темпов роста скорости 
доступа к ОВАМ и внешней памяти является кэширование. 

Кэширование данных -— это универсальный метод ускорения досту- 
па к данным, основанный на комбинации двух типов памяти, отличающих- 
ся временем доступа, объемом и стоимостью хранения данных. Наиболее 
часто используемая в данный период информация динамически копируется 
из «медленной, но большой» памяти в «быструю, но маленькую» кэш-па- 
МЯТЬ. 

Например, если кэширование применяется для уменьшения средне- 
го времени доступа к оперативной памяти, то в качестве кэша выступает 
быстродействующая статическая память процессора или даже его реги- 
стры. А если система ввода-вывода кэширует данные для ускорения досту- 
па к информации, хранящейся на диске, то в этом случае роль кэша испол- 
няют буферы в оперативной памяти, в которых оседают наиболее активно 
используемые данные. 

Кэширование широко используется и в Интернете, в частности при 
разрешении символьных О№-имен, в протоколе АКР, в работе браузера. 
Важную роль системам кэширования отводят и в системах управления ба- 
зами данных (СУБД) [6]. Принципы организации кэширования на сервере 
базы данных (БД) во многом сходны с организацией кэшей в операционных 
системах и микропроцессорах. Резкое удешевление аппаратных средств 
вычислительной техники привело к тому, что в качестве рабочих станций в 
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России широко используются достаточно мощные компьютеры. В этих слу- 
чаях двух- и трехзвенные архитектуры представляют дополнительные воз- 
можности организации систем кэширования в СУБД, которые могут иметь 
большую эффективность из-за возможности использования ресурсов 
компьютеров пользователей и более полного учета семантики их предмет- 
ных областей. В таких системах могут быть использованы быстро развива- 
ющиеся в настоящее время идеи организации кэширования документов в 
М/ЕВ-системах. 

Неотьемлемым свойством кэш-памяти является ее прозрачность 
для программ и пользователей. Система, реализующая кэширование, не 
требует никакой внешней информации об интенсивности обращения к дан- 
ным. Ни пользователи, ни программы не принимают никакого участия в 
перемещении данных из одного типа памяти в память другого типа. Все это 
делается автоматически системными средствами. 

При каждом обращении к основной памяти (к М/ЕВ-странице, блоку, 
объекту) прежде всего анализируется содержимое кэш-памяти с целью опреде- 
ления нахождения в ней требуемых данных. Далее возможен один из двух 
вариантов развития событий: 

- если данные обнаруживаются в кэш-памяти (саспе-Н®), они считы- 
ваются из нее и результат передается источнику запроса; 

- если нужные данные отсутствуют в кэш-памяти (сасНе-пт55), они 
считываются из основной памяти, передаются источнику запроса и одновре- 
менно с этим копируются в кэш-память. 

Эффективность кэширования зависит от вероятности кэш-попада- 
ния. Пусть имеется основное запоминающее устройство со средним време- 
нем доступа к данным & и кэш-память, имеющая время доступа Ё, очевидно, 
что Ь<&. Пусть Е — среднее время доступа к данным в системе с кэш-памя- 
тью, а р — вероятность кэш-попадания. По формуле полной вероятности 
имеем: 

Е=В (1-р) Бр = (6Ь- р +Ы. (1) 

Среднее время доступа к данным в системе с кэш-памятью линей- 
но зависит от вероятности кэш-попадания и изменяется от среднего време- 
ни доступа в основное запоминающее устройство & при р = 0 до среднего 
времени доступа непосредственно в кэш-память & при р = 1. Отсюда вид- 
но, что кэширование имеет смысл только при высокой вероятности кэш-по- 
падания [4]. 

Вероятность обнаружения данных в кэше зависит от разных факто- 
ров таких, например, как: объем КЭШа; объем кэшируемой памяти; алго- 
ритм замещения данных в кэше; особенности выполняемой программы; 
время ее работы; уровень мультипрограммирования и других особенностей 
вычислительного процесса. Тем не менее, в большинстве реализаций кэш- 
памяти процент кэш-попаданий оказывается весьма высоким. Это объясня- 
ется наличием у данных объективных свойств — пространственной и вре- 
менной локальности. 

Под временной локальностью понимают свойство данных, при на- 
личии которого, в случае, если произошло обращение по некоторому адре- 
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су, то следующее обращение по тому же адресу с большой вероятностью 
произойдет в ближайшее время. 

Данные обладают пространственной локальностью в том случае, 
если при возникновении обращения по некоторому адресу с большой веро- 
ятностью в ближайшее время произойдет обращение к соседним адресам. 
Особым видом пространственной локальности является так называемая 
циклическая локальность, при наличии которой трасса обращения к объек- 
там обладает некоторой цикличностью. Циклические (периодические) трас- 
сы могут порождаться при выполнении запросов аналитического и стати- 
стического характера [4]. 

Именно основываясь на свойстве временной локальности, данные, 
только что считанные из основной памяти, размещают в запоминающем 
устройстве быстрого доступа, предполагая, что скоро они опять понадобят- 
ся. 

В начале работы системы, когда кэш-память еще пуста, почти каж- 
дый запрос к основной памяти выполняется кэш-промахом, чтением дан- 
ных из основной памяти, передачей результата источнику запроса и копи- 
рованием данных в кэш. Затем, по мере заполнения кэша, в полном соот- 
ветствии со свойством временной локальности, возрастает вероятность об- 
ращения к данным, которые уже были использованы на предыдущем этапе 
работы системы, т.е. к данным, которые содержатся в кэше и могут быть 
считаны значительно быстрее, чем из основной памяти. Свойство времен- 
ной локальности в полной мере используется в очень распространенном 
алгоритме кэширования 1КЦ [7]. Недостатком этого алгоритма является не- 
возможность его противостоять циклической локальности. 

Рассмотрим пример обработки циклической последовательности ал- 
горитмом ВЦ (табл.1), в котором представлена последовательность иден- 
тификаторов объектов, вызываемых при выполнении некоторого запроса. 

Таблица 1 


Пример периодической трассы 


РЖ МЫЫыыыыыыыы 
В трассе 





И, 
тор объекта 
Заметим, что у каждого объекта в этой трассе расстояние до его 
следующего появления постоянно и для простоты принято равным 6. Допу- 
стим, что в кэше может поместиться только 5 объектов. Состояние кэша, 
начиная с позиции 5 трассы (см.табл.1), содержится в табл.2. 


Таблица 2 
Состояние кэша при выполнении трассы табл.1 


Позиции Состояние кэша 


промах 
промах 
промах 





149 


Раздел «Управление, вычислительная техника и информатика» 








8 2 7 3 5 9 промах 

Как видно из табл.2, 1ВУ на трассе табл.1 обеспечивает 100% про- 
махов. Известно, что для любых модификаций метода 1ВУ можно подо- 
брать трассы, которые дадут также 100% промахов, т.е. работа системы кэ- 
ширования на таких трассах будет полностью неэффективной [1]. 

Свойство пространственной локальности также используется для 
повышения вероятности кэш-попадания: как правило, в кэш-память считы- 
вается не один информационный элемент, к которому произошло обраще- 
ние, а целый блок данных, расположенных в основной памяти в непосред- 
ственной близости с данным элементом [2]. Поскольку при выполнении 
программы очень высока вероятность того, что команды выбираются из па- 
мяти последовательно одна за другой из соседних ячеек, то имеет смысл 
загружать в кэш-память целый фрагмент программы. Аналогично, если 
программа ведет обработку некоторого массива данных, то ее работу мож- 
но ускорить, загрузив в кэш часть или даже весь массив данных. При этом 
учитывается высокая вероятность того, что значительное число обращений 
к памяти будет выполняться к адресам массива данных. Значительно слож- 
нее реализовать пространственную локальность в базах данных. Для этого 
нужны специальные средства [6] и высокая квалификация разработчиков 
базы, чтобы воспользоваться этими средствами. Кроме того, изменение ча- 
стоты выполнения различных запросов к базе данных может потребовать 
изменение структуры первоначального проекта базы в процессе эксплуата- 
ции. В сложных информационных системах во время работы большого чис- 
ла пользователей и в разнородных прикладных задачах происходит посто- 
янное изменение локализации объектов [3]. Производительность системы 
кэширования в этом случае может быть повышена с помощью комбиниро- 
вания нескольких алгоритмов. Недостатком таких гибридных схем является 
повышение их вычислительной сложности, что, при опережающем росте 
производительности процессоров в настоящее время, не является суще- 
ственным. 

Постановка задачи. Обосновать возможность применения гибридных ал- 
горитмов в адаптивных системах кэширования с целью повышения эффек- 
тивности таких систем. Разработать простой и эффективный метод гибри- 
дизации, с помощью этого метода получить гибридный алгоритм и экспери- 
ментально сравнить эффективность полученного алгоритма с известным 
гибридным алгоритмом. 

Метод адаптивного управления системой кэширования. Допустим, 
что гибридизации подвергаются два алгоритма кэширования и у алгоритма 
гибридизации имеется управляющий параметр А е [0,1]. Изменение этого 
параметра приводит к изменению степени влияния алгоритмов, образую- 
щих гибрид, на процесс обработки кэш-прерывания. Рассмотрим схему си- 
стемы управления гибридным алгоритмом кэширования (рис.1). 

Для примера на рис.1 показана схема управления системой кэширо- 
вания СУБД. Работа системы исследуется с помощью программного стенда, 
в котором поток запросов к базе данных эмулируется с помощью генерато- 
ра трасс [5]. Кроме генератора трасс, в программный стенд входят: имита- 
тор кэш-системы; монитор трассы; оптимизатор параметра . Монитор трас- 
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сы запоминает последнюю пройденную часть трассы для дальнейшей опти- 
мизации. Данная часть трассы передаётся оптимизатору параметра ‚ кото- 
рый с помощью алгоритма оптимизации находит такое значение параметра 
‚ при котором обеспечивалось бы наименьшее количество промахов к кэш- 
системе для данного участка. Найденное значение используется кэш-си- 
стемой во время записи монитором следующего участка трассы. Далее про- 
цесс повторяется. Очевидно, что длина участка трассы, передаваемого оп- 
тимизатору (обозначим эту длину п), существенно влияет на работу кэш- 
системы и, следовательно, п может быть вторым параметром системы оп- 
тимизации. В рассмотренных примерах принято, что п принимает постоян- 
ное значение и равно 3000. Для повышения эффективности в реальной си- 
стеме монитор трассы и система оптимизации могут быть реализованы на 
других процессоре и дисковой подсистеме, чем система кэширования и 
СУБД [8]. 


























Запрос 
Генератор трасс 
База данных 
Монитор трассы Кэш-система 
9 <= 




















Значение параметра ), 


Оптимизатор Модель кэш- 
| 
трассы системы 





























Рис. 1. Схема управления кэш-системой 


Методы гибридизации алгоритмов кэширования. Для примера 
рассмотрим вариант построения гибридного алгоритма 1еа$Ё ВесепНу 
/ РедцепЧМу ЧУзеа (1ВРУ) на основе комбинирования алгоритмов 1еазЁ 
ВесепЧу Цзеа (1ВИ) и 1еа${ РгедиепЧ у Цзеа (1РИ) [9]. 

В алгоритме 1ВРУ для каждого объекта в кэше вычисляется его 
рейтинг СотЫпей КВесепсу апа РЕгедиепсу (СВР). При вычислении СВЕ ре- 
курсивно используется так называемая весовая функция вида: 
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, (2) 
где - параметр метода, чаше всего р=2; - переменная управления ; - рас- 
стояние в трассе между двумя соседними вызовами объекта. 

При каждом кэш-прерывании перерассчитывается рейтинг всех 
объектов кэша и объект с наименьшим рейтингом удаляется из кэша. 

В [9] доказывается, что при результаты применения рейтинга СВЕ 
полностью совпадают с результатами метода (РУ, а при результаты СВЕ 
совпадают с 1ВЦ. 

Эффективность алгоритма 1ВРИ изучалась на примере трассы, сге- 
нерированной с помощью генератора [6]. Вся трасса состоит из трех 
участков. На первом участке с длиной 30000 обращений генерируются цик- 
лические последовательности. На втором участке для генерации потоков 
запросов используются Марковские цепи [9]. Длина второго участка совпа- 
дает с длиной первого. На третьем участке при генерации последователь- 
ности обращений вероятность появления любого объекта в трассе постоян- 
на и равна ‚ где /М- число объектов. Длина последнего участка 15000 об- 
ращений. 

Результаты испытаний метода 1ВРУ представлены на рис.2, на ко- 
тором изображены графики изменения процента успешного кэш-попадания 
для методов (ВЦ, ГРУ и ЕВРО на разных этапах реализованной трассы. 
































100 % попадания в кэш 

т щю 39% ГЕЕЕН-СЕНОЕ-ЕРАЧ НС 

тю | 8% До \ 
ВЕТРУ 66% | тв —1 5—4 

ыы И 

п-0-[+--0-—0--50—0 

60 

50 

40 

3 0 Г] Ц Г] 

20 

10 

0-+= 





























12 3 46 6 Т 8 9 10 \ 12 13 14 15 16 17 18 19 20 2 22 23 24 25 


Рис.2. Графики изменения процента попадания в кэш для методов ВУ, ЕРУ и ЕВРУ 


Как видно из графиков (см.рис.2), эффективность метода ВРУ зна- 
чительно превышает эффективность составляющих его методов 1ВИ и (РО. 
Недостатком метода КРУ является высокая вычислительная сложность его 
реализации. 

Универсальный метод гибридизации алгоритмов кэширования. 
Рассмотрим предлагаемый нами метод построения гибридных алгоритмов 
на примере комбинирования двух известных методов. 

Пусть имеется два метода управления системой кэширования, кото- 
рые в момент { для объектов из кэша дают рейтинг и ‚ где /=1,2... М, №раз- 
мер кэша. Введем управляющий параметр . Пусть в момент времени Ё. По- 
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лучим с помощью генератора случайных чисел число ‚ при этом, если ‚ для 
разрешения кэш-прерывания будем использовать рейтинг, а при - 
рейтинг . При всегда используется только рейтинг , а при только рейтинг 
. При с вероятностью @ будем использовать рейтинг и с вероятностью 


(1-а) Е”. 


Заметим, что хранение и обработка рейтингов и необязательны. 
Достаточно, чтобы структуры данных в кэш-памяти поддерживали оба ги- 
бридизируемых алгоритма. Таким образом, гибридизации по этому методу 
могут подвергаться алгоритмы, в которых вообще отсутствует понятие 
рейтинга, например, алгоритмы случайного выбора объекта для удаления 
из кэша. 

Используем данный метод для получения гибридного алгоритма на 
базе методов ВИ и ЕРУ. Назовем полученный гибридный алгоритм Капот 
ВесепЧу/ЕРгедиеп у Чзеа (ВВРУ). Алгоритм ВВРУ был реализован на стенде 
[5], как и алгоритм ЕВРО, на тех же трассах и с тем же механизмом опти- 
мизации управляющего параметра . Результаты испытаний метода ВВРУ 
показаны на рис. 3. 





Г % попадания в кэш 








39% 
































Рис. 3. Графики изменения процента попадания в кэш 
для методов ЕВ, РУ и ВКРУ 


Как видно на графиков (см.рис.3), алгоритм ВВРУ обеспечивает 
практически ту же эффективность, что и ЕВРО, однако программная реали- 
зация алгоритма ВКРУ значительно проще, чем у 1ВРО. Не вызывает ника- 
ких сомнений и простота аппаратной реализация метода ВВЕЦ. 

Выводы. В данной статье предложен метод управления параметрами кэш- 
системы. Эффективность этого метода показана на примере управления ги- 
бридными алгоритмами. Показано, что комбинация алгоритмов кэширова- 
ния может существенно повысить эффективность системы доступа к ин- 
формации. Кроме того, предложен простой, эффективный и универсальный 
метод гибридизации любых алгоритмов кэширования. Простота этого мето- 
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да позволяет применять его не только в информационных системах и на 
М/еБ-серверах, но и в операционных системах и процессорах. 
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МО$АВ ВА$ЗАМ УЦ$ЕЕ АГ-2СОО| 
НУВКТО АЕСОКТН1М 1М ОВЗЕСТ САСНЕ 5УЗТЕМ$ 


п 46 рарег {Ле Вубла аогНт$ п обесЕ сасйтд эу$ет 15 соп@егед. ТНе 
те#о4 изпа Пубйа а!догИт т третег{а{оп оГ {Пе адарИ\уе сасИта °уз- 
{ет 15 оНегед. ТАе пем/ ипмегза! тео пубиахаНоп оЁ Мю ап тоге 
сасИта а!догиИт5 15 Чезсибе4. ТНе дезсирНоп оЁ йе пем/ пупа (ог {Не ао- 
ГИИт [ВУ апа 1РУ) аюдогЁНт, патеу Капдот КесепЧу/Ргедиеп Ну ед 
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(КВРИ) 15 ргеземще4. ТНе гезий оЁ сотрагаМ\е иду оЁ {Ле пем/ адогт 
ВКРО апа ме!-Кпомип ВубБча аюдогНт ЕВРО 15 зПомед. 
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